/*
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed with
 * this work for additional information regarding copyright ownership.
 * The ASF licenses this file to You under the Apache License, Version 2.0
 * (the "License"); you may not use this file except in compliance with
 * the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
package org.apache.rocketmq.store.index;

import org.apache.rocketmq.common.constant.LoggerName;
import org.apache.rocketmq.logging.InternalLogger;
import org.apache.rocketmq.logging.InternalLoggerFactory;
import org.apache.rocketmq.store.MappedFile;

import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.channels.FileLock;
import java.util.List;

/**
 * 消息消费队列是MQ专门为消息订阅构建的索引文件，提高根据主题与消息队列检索消息的速度，
 * 此外还引入了hash索引机制为消息构建索引。
 * 主要是存储消息的key（属于附加属性）与offset的对应关系
 *<br>
 * IndexFile的结构<br>
 * 1、IndexHeader：40个字节，记录的是统计信息，包括：
 *      beginTimestamp：该索引文件包含消息的最小存储时间
 *      endTimestamp：该索引文件包含消息的最大存储时间
 *      beginPhyOffset：该索引文件包含消息的最小物理偏移量（CommitLog文件的偏移量）
 *      endPhyOffset：该索引文件包含消息的最大物理偏移量（CommitLog文件的偏移量）
 *      hashslotCount：hashslot的个数，并不是hash槽的使用个数
 *      indexCount：index条目列表当前使用个数，Index条目在Index条目列表中按顺序存储<br>
 * 2、Hash槽：一个indexFile包含500w个hash槽，每个hash槽存储的是落在该hash槽的hashcode最新的index的索引<br>
 * 3、Index条目列表：默认一个索引文件包含2000w个条目，每一个Index条目结构如下：<br>
 *      hashcode：key的hashcode
 *      phyoffset：消息对应的物理偏移量
 *      timedif：该消息存储时间与第一条消息的时间戳差值，小于0该消息无效
 *      preIndexNo：该条目的前一条记录的Index索引，当出现hash冲突，构建链表结构
 *
 *
 *     <br>
 *    值得注意的是：
 *          IndexFile条目中存储的不是消息索引key而是消息索引key的hashcode，再根据key查找需要根据消息的物理偏移量找到找到消息而再验证消息key的值，
 *          之所以存储hashcode而不是具体的key，是为了将Index条目设计成定长结构，才能方便检索与定位条目！
 */
public class IndexFile {
    private static final InternalLogger log = InternalLoggerFactory.getLogger(LoggerName.STORE_LOGGER_NAME);
    // 每个hash槽的大小
    private static int hashSlotSize = 4;
    private static int indexSize = 20;
    private static int invalidIndex = 0;
    private final int hashSlotNum;
    private final int indexNum;
    private final MappedFile mappedFile;
    private final FileChannel fileChannel;
    private final MappedByteBuffer mappedByteBuffer;
    private final IndexHeader indexHeader;

    public IndexFile(final String fileName, final int hashSlotNum, final int indexNum,
        final long endPhyOffset, final long endTimestamp) throws IOException {
        int fileTotalSize =
            IndexHeader.INDEX_HEADER_SIZE + (hashSlotNum * hashSlotSize) + (indexNum * indexSize);
        this.mappedFile = new MappedFile(fileName, fileTotalSize);
        this.fileChannel = this.mappedFile.getFileChannel();
        this.mappedByteBuffer = this.mappedFile.getMappedByteBuffer();
        this.hashSlotNum = hashSlotNum;
        this.indexNum = indexNum;

        ByteBuffer byteBuffer = this.mappedByteBuffer.slice();
        this.indexHeader = new IndexHeader(byteBuffer);

        if (endPhyOffset > 0) {
            this.indexHeader.setBeginPhyOffset(endPhyOffset);
            this.indexHeader.setEndPhyOffset(endPhyOffset);
        }

        if (endTimestamp > 0) {
            this.indexHeader.setBeginTimestamp(endTimestamp);
            this.indexHeader.setEndTimestamp(endTimestamp);
        }
    }

    public String getFileName() {
        return this.mappedFile.getFileName();
    }

    public void load() {
        this.indexHeader.load();
    }

    public void flush() {
        long beginTime = System.currentTimeMillis();
        if (this.mappedFile.hold()) {
            this.indexHeader.updateByteBuffer();
            this.mappedByteBuffer.force();
            this.mappedFile.release();
            log.info("flush index file eclipse time(ms) " + (System.currentTimeMillis() - beginTime));
        }
    }

    public boolean isWriteFull() {
        return this.indexHeader.getIndexCount() >= this.indexNum;
    }

    public boolean destroy(final long intervalForcibly) {
        return this.mappedFile.destroy(intervalForcibly);
    }

    /**
     * 将消息索引键与消息偏移量映射关系写入到IndexFile<br>
     *     <p><b><i>实际上hash槽槽位（通过key的hashcode对hash槽长度取模）的值会被后来的值覆盖的，
     *           存入的新值是该新的index条目在index条目列表的位置（即“数组下标”）<br>
     *           但是这个新的index条目会将之前被覆盖的值（即旧的index条目的“数组下标”）存储起来，
     *           这就构成了一个类似于链表的数据结构了
     *         </b></p>
     * @param key 消息索引
     * @param phyOffset 物理偏移量
     * @param storeTimestamp 存储消息时间
     * @return
     */
    public boolean putKey(final String key, final long phyOffset, final long storeTimestamp) {
        //this.indexHeader.getIndexCount()表示index条目列表已使用个数，this.indexNum最大可用数目
        if (this.indexHeader.getIndexCount() < this.indexNum) {
            // key的hashcode，存的是key的hashcode
            int keyHash = indexKeyHashMethod(key);
            // 取模计算出位置，计算出的是hash槽的下标
            int slotPos = keyHash % this.hashSlotNum;
            // hashcode对应hash槽的实际物理地址
            int absSlotPos = IndexHeader.INDEX_HEADER_SIZE + slotPos * hashSlotSize;

            FileLock fileLock = null;

            try {

                // fileLock = this.fileChannel.lock(absSlotPos, hashSlotSize,
                // false);
                // 读取hash槽中存储的值---存储的实际是index的索引，当前这里是之前存储在这个槽位的值
                int slotValue = this.mappedByteBuffer.getInt(absSlotPos);
                // 如果该值小于0，或者大于当前使用文件的index条目数
                if (slotValue <= invalidIndex || slotValue > this.indexHeader.getIndexCount()) {
                    slotValue = invalidIndex;
                }
                // 计算与第一条消息的时间戳差值
                long timeDiff = storeTimestamp - this.indexHeader.getBeginTimestamp();
                // 转换成秒
                timeDiff = timeDiff / 1000;

                if (this.indexHeader.getBeginTimestamp() <= 0) {
                    timeDiff = 0;
                } else if (timeDiff > Integer.MAX_VALUE) {
                    timeDiff = Integer.MAX_VALUE;
                } else if (timeDiff < 0) {
                    timeDiff = 0;
                }

                // 获取更新index条目时的首地址！
                int absIndexPos =
                    IndexHeader.INDEX_HEADER_SIZE + this.hashSlotNum/*hash槽的个数*/ * hashSlotSize/*单个hash槽的大小*/
                        + this.indexHeader.getIndexCount()/*已使用的index条目数量*/ * indexSize/*单个index条目的大小*/;
                // 更新index条目
                this.mappedByteBuffer.putInt(absIndexPos, keyHash);//4个字节
                this.mappedByteBuffer.putLong(absIndexPos + 4, phyOffset);//8个字节 物理地址
                this.mappedByteBuffer.putInt(absIndexPos + 4 + 8, (int) timeDiff);//4个字节
                this.mappedByteBuffer.putInt(absIndexPos + 4 + 8 + 4, slotValue);// 存储的是上一个在相同hash槽位置处的条目的下标
                // 将当前index条目列表中包含的条目数（实际上是该条目在条目列表这个“数组”中的下标）放入hash槽中，覆盖原来的值
                this.mappedByteBuffer.putInt(absSlotPos, this.indexHeader.getIndexCount());

                // 表明当前的index条目是条目列表中的第一个！！！
                if (this.indexHeader.getIndexCount() <= 1) {
                    this.indexHeader.setBeginPhyOffset(phyOffset);
                    this.indexHeader.setBeginTimestamp(storeTimestamp);
                }
                // 增加hashSlot的个数
                this.indexHeader.incHashSlotCount();
                // 增加index条目当前使用个数
                this.indexHeader.incIndexCount();
                //增加最大的物理偏移量
                this.indexHeader.setEndPhyOffset(phyOffset);
                // 增加最大的时间戳
                this.indexHeader.setEndTimestamp(storeTimestamp);

                return true;
            } catch (Exception e) {
                log.error("putKey exception, Key: " + key + " KeyHashCode: " + key.hashCode(), e);
            } finally {
                if (fileLock != null) {
                    try {
                        fileLock.release();
                    } catch (IOException e) {
                        log.error("Failed to release the lock", e);
                    }
                }
            }
        } else {
            // 当前IndexFile文件已经写满了
            log.warn("Over index file capacity: index count = " + this.indexHeader.getIndexCount()
                + "; index max num = " + this.indexNum);
        }

        return false;
    }

    public int indexKeyHashMethod(final String key) {
        int keyHash = key.hashCode();
        int keyHashPositive = Math.abs(keyHash);
        if (keyHashPositive < 0)
            keyHashPositive = 0;
        return keyHashPositive;
    }

    public long getBeginTimestamp() {
        return this.indexHeader.getBeginTimestamp();
    }

    public long getEndTimestamp() {
        return this.indexHeader.getEndTimestamp();
    }

    public long getEndPhyOffset() {
        return this.indexHeader.getEndPhyOffset();
    }

    public boolean isTimeMatched(final long begin, final long end) {
        boolean result = begin < this.indexHeader.getBeginTimestamp() && end > this.indexHeader.getEndTimestamp();
        result = result || (begin >= this.indexHeader.getBeginTimestamp() && begin <= this.indexHeader.getEndTimestamp());
        result = result || (end >= this.indexHeader.getBeginTimestamp() && end <= this.indexHeader.getEndTimestamp());
        return result;
    }

    /**
     * 根据索引key查找消息
     * @param phyOffsets 查找到的消息物理移量
     * @param key 索引key
     * @param maxNum 本次查找最大消息条数
     * @param begin
     * @param end
     * @param lock
     */
    public void selectPhyOffset(final List<Long> phyOffsets, final String key, final int maxNum,
        final long begin, final long end, boolean lock) {
        if (this.mappedFile.hold()) {
            // key的hashcode
            int keyHash = indexKeyHashMethod(key);
            // 定位其在hash槽中的位置
            int slotPos = keyHash % this.hashSlotNum;
            // 定位其在IndexFile文件中位置
            int absSlotPos = IndexHeader.INDEX_HEADER_SIZE + slotPos * hashSlotSize;

            FileLock fileLock = null;
            try {
                if (lock) {
                    // fileLock = this.fileChannel.lock(absSlotPos,
                    // hashSlotSize, true);
                }
                // 获取hash槽中对应的值，存储的是index条目列表的下标
                int slotValue = this.mappedByteBuffer.getInt(absSlotPos);
                // if (fileLock != null) {
                // fileLock.release();
                // fileLock = null;
                // }

                if (slotValue <= invalidIndex || slotValue > this.indexHeader.getIndexCount()
                    || this.indexHeader.getIndexCount() <= 1) {
                } else {
                    for (int nextIndexToRead = slotValue; ; ) {
                        // 当查找到的消息物理移量个数大于最大查找数时，退出for循环，这里的目的就是查找到maxNum个物理偏移量就退出循环！
                        if (phyOffsets.size() >= maxNum) {
                            break;
                        }
                        // 计算key对应的index条目的IndexFile的物理偏移量
                        int absIndexPos =
                            IndexHeader.INDEX_HEADER_SIZE + this.hashSlotNum * hashSlotSize
                                + nextIndexToRead * indexSize;

                        int keyHashRead = this.mappedByteBuffer.getInt(absIndexPos);
                        long phyOffsetRead = this.mappedByteBuffer.getLong(absIndexPos + 4);

                        long timeDiff = (long) this.mappedByteBuffer.getInt(absIndexPos + 4 + 8);
                        // 上一个Index条目在条目列表数组中的下标
                        int prevIndexRead = this.mappedByteBuffer.getInt(absIndexPos + 4 + 8 + 4);

                        if (timeDiff < 0) {
                            break;
                        }
                        // 乘以1000
                        timeDiff *= 1000L;
                        // 拿到真实的时间戳
                        long timeRead = this.indexHeader.getBeginTimestamp() + timeDiff;
                        // 时间是否合法
                        boolean timeMatched = (timeRead >= begin) && (timeRead <= end);
                        // 根据hashcode和时间的合法性判断
                        if (keyHash == keyHashRead && timeMatched) {
                            phyOffsets.add(phyOffsetRead);
                        }

                        if (prevIndexRead <= invalidIndex
                            || prevIndexRead > this.indexHeader.getIndexCount()
                            || prevIndexRead == nextIndexToRead || timeRead < begin) {
                            break;
                        }
                        // 查找上一个
                        nextIndexToRead = prevIndexRead;
                    }
                }
            } catch (Exception e) {
                log.error("selectPhyOffset exception ", e);
            } finally {
                if (fileLock != null) {
                    try {
                        fileLock.release();
                    } catch (IOException e) {
                        log.error("Failed to release the lock", e);
                    }
                }

                this.mappedFile.release();
            }
        }
    }
}
